神经网络算法学习之梯度下降算法

神经网络算法学习之梯度下降算法

1.FeedForward Network: 神经网络中没有循环, 信息单项向前传递

2.识别手写数字，分层—segmentation分层得到minist数据中每一张图片的信息

MNIST dataset: http://yann.lecun.com/exdb/mnist/

3.每个隐藏曾学到不一样的东西

4.用（gradient descent）梯度下降算法Cost函数最小化

C: cost

w: weight 权重

b: bias 偏向

n: 训练数据集实例个数

x: 输入值

a: 输出值 (当x是输入时)

||v||:  向量的length function

C(w,b) 越小越好，输出的预测值和真实值差别越小

5.更新wk和bl

6.更具体直接私信我

相关代码

import random
import numpy as np

class Network(object):
    def __init__(self,sizes):
        self.num_layers = len(sizes)
        self.sizes = sizes
        self.biases = [np.rand